Tên của bảo tàng Orangerie có nghĩa là vườn ươm cam. Tòa nhà bảo tàng được xây dựng năm 1852 trong vườn ươm cam thuộc Tuileries do kiến trúc sư Firmin Bourgeois thiết kế và được hoàn thành bởi người kế nhiệm là Ludovico Visconti. Công trình được xây dựng bằng chất liệu đá, có cửa kính bên phía sông Seine và mang phong cách kiến trúc cổ điển để phù hợp với cảnh quan. Khi đó, cung điện Tuileries vẫn nằm trong vườn, đến năm 1871 mới bị đốt cháy.

Từ thời Đệ tam cộng hòa, tòa nhà này được sử dụng cho nhiều mục đích: kho lưu trữ khí cụ, phòng kiểm tra và nơi trú ngụ cho binh lính lưu chuyển... rồi dành cho các triển lãm công nghiệp, làm vườn... Đôi khi cũng có cả các triển lãm hội họa. Cho đến năm 1921, tòa nhà được dành cho cơ quan quản lý nghệ thuật với mục đích làm cơ sở phụ cho bảo tàng Luxembourg.

Sau đó, theo đề xuất của Georges Clemenceau, chính trị gia và là bạn của Claude Monet, Monet mang tới đây những tác phẩm về hoa súng (Nymphéas) mà ông vẽ từ năm 1914. Tới năm 1918 thì Claude Monet tặng lại bộ tác phẩm đó cho chính phủ. Sau khi Monet mất vào năm 1926, tới ngày 17 tháng 5 năm 1927, bảo tàng mở cửa cho công chúng. Kiến trúc sư Camille Lefèvre đã tu sửa lại công trình, trang trí theo phong cách « art déco ». Tòa nhà chỉ gồm một tầng, Camille Lefèvre bố trí phòng Nymphéas ở nửa phía đông. Còn phần còn lại dành cho phòng triển lãm.

Sau Chiến tranh thế giới thứ hai, bảo tàng được tặng lại bộ sưu tập của kiến trúc sư Jean Walter và nhà buôn tranh Paul Guillaume. Một lần nữa, công trình được tu sửa lại để đón nhận các tác phẩm mới. Kiến trúc sư Olivier Lahalle đã phá bỏ phòng triển lãm, chia lại tòa nhà thành hai tầng, thực hiện trong khoảng thời gian 1960 tới 1965. Từ 1978 tới 1984, công trình được sửa chữa lần thứ ba, gia cố và trang trí lại nội thất.

Gần đây nhất, từ năm 2000 tới năm 2006, bảo tàng Orangerie được sửa chữa với kinh phí 30 triệu euro. Với thêm 1000 m² tầng hầm, diện tích sử dụng của bảo tàng Orangerie hiện nay là 6300 m².